In de 13de eeuw is er al sprake van een leenhof zogenaamd "Hof ten Steene" en "Hof ter Hertbrugge”. In begin van de zeventiende eeuw werd dit leenhof, door de familie de Ruede, omgevormd tot een omwaterd hof van plaisantie met hoeve, duifhuis en brouwerij en kreeg het de naam Lombaardstein.
Het kasteel wordt omringd door een volledig omgracht park aangelegd door de familie Pansiusdie tussen 1744 en 1845 eigenaar was. Tot mei 1881 was Lombaardstein en de Lombaardhoeve één geheel. Het een was een meesterwoning-kasteel en het andere een hoeve als pachthof van het kasteel.
Het kasteel heeft twee vierkante torens, eentje met achtkantige 'Pagaddertoren’ en windroos, de andere met wolfsdak. Het duifhuis en de brouwerij werden afgebroken in het begin van de 18de eeuw.
Eén van de meest illustere bewoners van het kasteel in de twintigste eeuw was Michel Preud’homme, doelman van KV Mechelen en de Rode Duivels.